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Bescheinigung 





Die Siemens Aktiengesellschaf t in Miinchen/Deutschland hat 
eine Patentanmeldung unter der Bezeichnung 

"Verfahren zur dreidimensionalen Identifizie- 
rung von Objekten" 

am 26. Marz 1997 beim Deutschen Patentamt eingereicht. 

Die angehefteten Stucke sind eine richtige und genaue 
Wiedergabe der ursprunglichen Unterlagen dieser Patent- 
anmeldung. 

Die Anmeldung hat im Deutschen Patentamt vorlaufig die Sym- 
bole G 07 C und G 06 K der Internationalen Patentklassif ika- 
tion erhalten. 

Miinchen, den 27. Marz 1998 
Der Prasident des Deutschen Patentamts 
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Beschreibung 

Verfahren zur dreidimensionalen Identif izierung von Objekten 

Die Erfindung betrifft ein Verfahren zur schnellen dreidimen- 
sionalen Identif izierung von Objekten, insbesondere zur Ge- 
sichtsidentif izierung. Solche Verfahren kOnnen bei der Piru- 
fung einer Zugangsberechtig\ing fur bestimmte RSume oder Ge- 
baude bzw. fur eine Zugrif f sberechtigung fur bestimmte Auto- 
maten eingesetzt werden. 



In Verbindung mit der Zugrif f sberechtigung zu bestimmten Din- 
gen, wie beispielsweise Geldautomaten besteht zunehmender Be- 
darf an auSerst sicheren tJberwachungssystemen. Dabei wird je- 
weils eine Mehrzahl von personenspezif ischen Merkmalen ge- 
pruf t . Eine wesentliche Rolle kommt darin der Erkennung des 
Gesichtes zu. 

Heute befinden sich bereits verschiedene Sicherungssysteme in 
der Felderprobung. Hier ist beispielsweise die Scheck- oder 
Chipkarte zu nennen, auf der mehrere Merkmale des Gesichtes 
des Inhabers gespeichert werden k6nnen. Ein Benutzer erhait 
nur Zugang bzw. Zugrif f, wenn beispielsweise eine Codierungs- 
nummer sowie vom Automaten erkannte Gesichtsmerkmale mit ge- 
speicherten Daten tibereinstimmen . Die Codierungsnummer ist 
beispielsweise die PIN (Personal Identification Number) . Die 
Gesichtsmerkmale werden aus einem von einer Fernsehkamera 
aufgenommenen Grauwertbild extrahiert . Dabei handelt es sich 
im wesentlichen um einfache geometrische KenngrGSen in einer 
Ebene, wie beispielsweise der Augenabstand, der Abstand zwi- 
schen Mund und Augenachse usw. . Trotz des relativ unbestimm- 
ten Zusammenhangs zwischen einem zweidimensionalen Grauwert- 
bild und der eigentlichen Gesichtsform die in ihrem Wesen 
deutlich dreidimensional ausgeprSgt ist, k6nnen mit bekannten 
Auswerteverf ahren wie beispielsweise mit neuronalen Netzen 
schon sehr gute Ergebnisse erzielt wierden. Die Erkennungssi- 
cherheit liegt bislang bei ca. 98%. Ein wesentlicher Nachteil 



GR 9 7 P lA 



2 

der bisherigen Verfahren ist, daS diese relativ leicht ge- 
tauscht werden k6nnen, wie beispielsweise durch eine vor das 
Gesicht gehaltene Fotografie. 

5 Es ist bekannt fur die dreidimensionale Objekterkennung das 
Prinzip des codierten Lichtansatzes in Verbindung mit Trian- 
gulation zu verwenden. Das wesentliche Merkmal dieses MeS-' 
prinzips liegt in der raum-ze it lichen Codierung des zu ver- 
messenden Arbeitsrauxnes , der Objektoberf lache . Der Arbeits- 

10 raiom wird durch eine zeitlich auf einanderf olgende Projektion 
beispielsweise von Streif enmustern beleuchtet (Gray-codierte- 
Streif enmuster) . Die Streif enmuster ermdglichen dabei die U" 
terscheidung von unterschiedlichen Projektionsrichtungen, d 
durch eine charakteristische Hell-Dunkel-Sequenz gekennzeich- 

15 net sind. Zur dreidimensionalen Vermessung einer Objektszene 
werden die mit Hilfe eines transparanten LCDs (Liquid Cri- 
stall Device) erzeugten und an den Objekten der Szene defor- 
mierten Muster von einer Kamera aus einer anderen, als der 
Beleuchtungsrichtung beobachtet, 

20 

Bei bekannter Position zwischen Kamera, Projektor und Ob- 
jektszene k5nnen die dreidimensionalen Koordinaten der beob- 
achteten Szene auf konventionelle Weise durch Triangulatioh 
berechnet werden, 

25 

Die bisher bekannte Verwendung von trannsparenten LCDs als 
lichtmodulierende wahlweise transparente Elemente ist mit ei- 
ner relativ langen Erf assungszeit verbunden, da die LCDs sehr 
lange Schaltzeiten aufweisen. Fur eine schnelle Erfassung 
30 (z.B. 0,1 Sekunden fur eine Personenidentif izierung) ist die- 
ser Ansatz ungeeignet. 

Ein schnell schaltbares Lichtmodulationselement , das zudem 
vielfaitig ansteuerbar ist, ist aus der folgend genannten 
35 Firmenschrif t von Texas -Instruments bekannt: 

, Larry J.Hornbeck, Digital Light Processing And MEMs: Timely 
Convergence For A Bright Future, Texas Instruments Ddigital 
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Imaging Conponents, Dallas/Texas 75265, 23. bis 24. Okt . 
1995', Austin, Texas, USA. 

Eine darin beschriebene digitals Mikrospiegelanordnung (DMD, 
Digital Micromirror Device) kann eine digitale Lichtbearbei- 
5 tung (DLP, Digital Light Processing) vollfuhren. Dieses 

lichtmodulierende Element besteht aus einer Vielzahl von auf 
einer integrierten Schaltung (Chip) mikromechanisch aufge- 
brachten Spiegeln, die einzeln oder in Gruppen ansteuerbar 
sind. Die Anzahl der Spiegel kann bis zu 480.000 pro Chip be- 
10 tragen. Normalerweise kann ein DMD-Chip mit einem 8-Bit-Wort 
angesteuert werden, wodurch sich 256 Grauwertstuf en ergeben. 
Nachdem dieses lichtmodulierende Element zunachst fur Fern- 
seh- bzw. Videoanwendungen eingesetzt wird, sind weitere Da- 
ten entsprechend an f ernsehtechnische Einrichtungen ange- 
15 lehnt. Ein wesentliches Merkmal besteht jedoch darin, dafi die 
Schaltzeiten im Bereich von Mikrosekunden liegen. Damit wird 
die Wiedergabe eines Fernsehbildes durch Verwendung einer 
beispielsweise dreifarbigen Beleuchtung des Chips ermoglicht, 
wobei der DMD-Chip entsprechend elektronisch angesteuert 
2 0 wird. Das durch die Vielzahl von entsprechend angesteuert en 
Spiegeln dargestellte Bild kann auf eine Leinwand projiziert 
werden. Ein optisches Element der beschriebenen Art kann so- 
mit eine hohe Auflosung und einen sehr guten Kontrast erzeii- 
gen. 

5 

Der Erfindung liegt die Aufgabe zugrunde, die Topografie 
dreidimensionaler Objekte durch codierte Beleuchtung und mit 
Fernsehbildverarbeitung wesentlich schneller zu erfassen, oh- 
ne dabei die Systemkosten wesentlich zu erh6hen. 

30 

Die L6sung dieser Aufgabe geschieht durch die Merkmale des 
Anspruchs 1 . 

Vorteilhafte Ausgestaltungen kCnnen den UnteransprOchen ent- 
35 nommen werden. 
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Erf indungsgem^S kann bei der Gesichtsidentif izierung neben 
der Auswertung der zweidimensionalen Bilder noch die Answer - 
tung dreidimensionaler Gesichtsf ormen herangezogen werden, 
die wesentlich umf angreichere und sichere Inf ormationen ent- 
5 halt. Die daraus resultierenden Vorteile liegen in einer lun 
Faktoren hoheren Erkennungssicherheit , wodurch eine erheblich 
groSere Anzahl von Personen unterscheidbar ist, 
Als Merkmale zur Erkennung einer drei dimensional en Oberfiache 
kdnnen dann Konturen oder Schnitte in unterschiedlichen Ebe- 

10 nen herangezogen werden. Eine Grundvoraussetzung fur eine 
schnelle Erkennung mit sehr hoher Erkennungssicherheit ist 
die vollstandige und korrekte Erfassung der OberflAchen- 
Topografie. Als ein Verfahren bietet sich die Triangulation 
in Verbindung mit einer codierten Beleuchtung an. Bei der be- 

15 kannten Gray-Code Beleuchtung wird ein Streif enmuster auf das 
Objekt projiziert, dessen Periodizitat variiert wird. Es wer- 
den beispielsweise die Linienzahlen verdoppelt . Bei n ver- 
schiedenen Periodizitaten, die in n-Bildern aufgenommen wer- 
den, erhait man bei diesem Verfahren 2" Tief enebenen. Fur 64 

2 0 Tief enebenen werden demnach mindestens sechs verschiedene ko- 
dierte Bilder bendtigt. Dieses Verfahren benotigt eine 
schnelle Umschaltung der Beleuchtungsbilder , da der Erken- 
nungsvorgang bei einer realen Gesichtsauf nahme in sehr kurzer 
Zeit abgeschlossen sein mulS , weil eine Person in der Regel 

25 nicht lange still steht. Die derzeit hier zur Verfugung ste- 
henden Flussigkristallmodulatoren bedingen fur die Informati 
onsaufnahme zur dreidimensionalen Erfassung einen Zeitraum 
von etwa 0,1 Sekunden. Neue M6glichkeiten erdffnen sich bei 
diesem Ansatz durch die Substitution des Flussigkristallmodu- 

30 lators • Dies wird erf indungsgemafi durch einen Mikrospiegel- 

Modulator (DMD, Digitalmikromirror Device, DMD-Mikrochip) er- 
reicht. Dieses Element, das aus einer Vielzahl von schaltba- 
ren Mikrospiegeln besteht, die einzeln ansteuerbar sind, ist 
in der Lage eine kodierte Beleuchtung auf eine dreidimensio- 

35 nale Oberfiache auf zubringen, wobei verschiedene Beleuch- 
tungsmuster mit hoher Aufl6sung und hohem Kontrast erzeugt 
werden k6nnen» Dies kann daruber hinaus mit ausreichend hoher 
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Schaltfrequenz geschehen, so daS fur Lichtkodiertangsverf ahren 
mehrere Bilder in kurzer Zeit sequentiell erfaSt warden k6n- 
nen . 

5 Daruber hinaus wird durch die Erfindung auch der problemlose 
Einsatz einer codierten Beleuchtung mit verschiedenen Farben 
ermOglicht, so daS bereits mit einem Femsehhalbbild gleich- 
zeitig drei Tiefenebenen erfafit werden kSnnen. Dabei wird die 
Auswertung der drei Farbkanale rot, grtin und blau einer Farb- 

10 kamera benutzt. 

I 

_i 

Die Kombination von codierter Beleuchtung, dem digitalen Mi- 
^^^V kromirr or -System, sowie der Farbbildverarbeitung liefert fur 
die Erkennung von dreidimensionalen Objekten, beispielsweise 
15 der Erkennung eines Gesichtes, in idealer Weise die schnelle 
Erfassung und hohe Erkennungssicherheit . Ein Gesichtsidenti- 
f izierungssystem dieser Art kann aus kostengunstigen Koitqpo- 
nenten der Konsumerelektronik realisiert werden, 

20 Die Erfindung erm6glicht die Einfuhrung von unmittelbar er- 

fafiten dreidimensionalen Daten des menschlichen Gesichtes zur 
Personenidentif izierung, Es wird allgemein ein Verf ahren zur 
schnellen, hochauf 16senden und kostengunstigen Erfassung der 
dreidimensionalen Daten eines menschlichen Gesichtes zur Ver- 
fugung gestellt, wobei die Kombination einer codierten Be- 
leuchtung mit einem digitalen Mikrospiegelelement eingesetzt 
wird. Die Farbbildverarbeitung kann optional hinzukommen und 
reduziert die Erf assxingszeit auf ein Drittel. 

30 Im folgenden werden anhand von schematischen Figuren Ausfuh- 
rungsbeispiele beschrieben. 

Figur 1 zeigt eine schematische Anordnung von Bauteilen zur 
dreidimensionalen Gesichtserkennung mit digitaler Licht- xind 
35 Farbbildverarbeitung, 

Figur 2 zeigt Beispiele fur die dreidimensionale Gesichtser- 
kennung anhand von geometrischen Daten. 

j 
i 
I 

t 
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In der Figur 1 ist in der rechten Bildhctlfte eine Objektober- 
fiache 7 zu erkennen. Theoretisch k6nnte durch die digitale 
Mikrospiegelanordnung 3, die mittels der Lichtguelle 1 be- 
5 leuchtet wird, an der Stelle der Objekte 7 ein beliebiges 

Bild erzeugt werden. Im Sinne der Erfindung liegt jedoch hier 
eine Objekt 7 vor, das mittels codierter Beleuchtung entspre- 
chend angestrahlt wird, so dafi eine Codierung 10 auf dem Ob- 
jekt 7 erscheint. Der von der Lichtquelle 1 ausgehende Strah- 

10 lengang wird uber jeweils eine Optik 4 vor und hinter einem 
Farbfilter 2 geeignet ausgebildet. Der Farbfilter 2 besteht 
aus einer rotierenden Scheibe, die am Umfang einen farbigen 
lichtdurchiassigen Streifen aufweist, der gleichmaiSig in ei 
nen roten, grunen und blauen Bereich unterteilt ist. Somit 

15 wird eine Farbbildverarbeitung erm6glicht. Die digitale 

Lichtbearbeitung 9 besteht aus einer digitalen Mikrospiege- 
lanordnungen 3. Diese Anordnung 3 ist ein sog. DMD-Chips 
(Digitale Mikrospiegelanordnung, Digital-Mikromirror-Device) . 
Mittels der Steuer- und Auswerteeinheit 11 wird neben der 

20 Lichtbearbeitung 9 die Kamera 6 gesteuert. Die Projektion des 
Lichtes erfolgt hinter der digitalen Mikrospiegel -Anordnung 3 
durch die Projektionslinse 5 auf die Objektoberf lache 7. Da- 
bei ist durch die digitale Mikrospiegelanordnung 3 die ent- 
sprechende Lichtcodierung aufgebracht worden. Fur eine Farb- 

25 bildauswertung mufi die Kamera 6 eine Farbbildkamera sein. 

Bei der Farbbildauswertung wird zun^chst uber den Digital - 
Mirror-Device eine codierte Beleuchtung derart auf das Objekt 
7 projiziert, dass in einem Fernsehhalbbild drei Streifenmu- 
30 ster mit jeweils unterschiedlicher Farbe ( z.B. rot, grun, 

blau) und Periodizitat gleichzeitig vorliegen. +Durch die ge- 
trennte und paralelle Auf nahme der drei unterschiedlichen • 
Farbmuster kOnnen somit in einem Fernsehhalbbild die Informa- 
tionen zur Berechnung von drei Tiefenebenen erfaSt werden. 

35 

Urn beispielsweise die Auswertung einer Gesichtsoberf Idche in- 
nerhalb von 0,1 Sekvinden mit sehr hoher Erkennungssicherheit 
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zu gewahrleisten, wird dieses Gesicht mit einer codierten in 
diesem Fall streif enartigen Codierung beleuchtet, wobei die 
Streifen in auf einanderf olgenden Bildem verschiedene Peri- 
odizitaten aufweisen. Das Gesicht wird dabei beispielsweise 
5 durch 200 x 200 x 150 Bildpunkte mit einer raumlichen Aufl6- 
sung von 2 x 2 x 2 mm erf aSt . Das zugrxindeliegende Prinzip 
der Hohenmessung an dem Objekt 7 ist beispielsweise die Tri- 
angulation. Mit dem Einsatz einer digitalen Mikrospiege- 
lanordnung 3 wird das bisherige Problem einer schnellen Um- 
10 schaltung der Beleuchtungsbilder fur die streif enformgie Ko- 
dierung 10, gel6st • Somit kann der Zeitraum fur die vollstSn- 
dige und sichere Erfassung eines Objektes 7, wie beispiels- 
weise ein Gesicht in ca, 0,1 Sekunden geschehen* Bisher war 
hierzu ca. 1 Sekunde notwendig. 
15 

In Figur 2 sind beispielhaft drei Karakteristika eines Ge- 
sichtes dargestellt, die entweder fur sich kennzeichnend fur 
das Gesicht sind oder aus denen noch detailliertere Merkmale 
abgeleitet werden. Anhand dieser und ahnlicher Erkennungs- 
20 merkmale k6nnen Gesichter mit h6herer Zuveriassigkeit unter- 
schieden werden, als mit den derzeit eingesetzten zweidimen- 
sionalen Verfahren. 

In Figur 2 sind anhand der raumlichen Koordinaten x, y und z 
drei MSglichkeiten von Definitionen bestimmter Karakteristika 
eines Gesichtes dargestellt. Im oberen Diagramm ist eine Li- 
nie bzw. Kontur des Gesichtes im Stirnbereich in einer senk- 
recht zur y-Achse liegenden Ebene wiedergegeben. Gleiches 
gilt fxir das untere Diagramm in Figur 2, wobei hier der Na- 
30 senbereich betroffen ist. Das mittlere der drei Diagramme in 
Figur 2 stellt eine Linie dar, die sich in einer Ebene, senk- 
recht zur x-Achse befindet. Hier wird demnach ein seitliches 
Profil des Gesichtes wiedergegeben. Die Marke gibt dabei 

beispielsweise die Position der Nasenspitze relativ zu dem 
35 Gesichtsprof il an. 
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Patentanspruche 

1. Verfahren zur dreidimensionalen Identif izierung von Objek- 
ten (7) , bei dem 

5 - eine digitale Mikrospiegel-Anordnung (3) von einer 
Lichtguelle (1) beleuchtet wird, 

die digitale Mikrospiegel-Anordnung (3) derart angesteu- 
ert wird, dalS ein oder mehrere codierte Beleuchtungsmuster 
auf einanderf olgend auf die Objektoberf ISche (7) projiziert 
10 werden, 

das derart beleuchtete Objekt (7) mittels einer Kamera 
(6) aus einer anderen, als der Beleuchtungsrichtung aufgerio 
men wird und daraus die Topographic des Objektes (7) mit gr 
Ser Genauigkeit in einer Steuer- und Auswerteeinheit (11) be-| 
15 rechnet wird, j 

2. Verfahren nach Anspruch 1, bei dem die digitale Mikrospie- 
gelanordnung (3) durch Vorschaltung eines ver^nderbaren Farb- 
filters im Strahlengang (8) sequentiell mit mindestens drei 

20 unterschiedlichen Farben beleuchtet wird und somit mindestens 
drei Tiefenebenen in einem einzigen Bild mittels Farbkamera 
bestimmt werden. 

3. Verfahren nach einem der vorhergehenden Anspruche, bei d 
25 die Codierung aus einem Streif enmuster besteht, dessen Peri 

odizitat auf einanderf olgend variiert wird. 

4. Verfahren nach einem der vorhergehenden Anspruche, welches 
zur Gesichtsidentif izierung benutzt wird* 
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Zusammenfassung 

Verfahren zur dreidimensionalen Identif izier\xng von Objeken 

5 Bekannte Sicherxingssysteme die beispielsweise Gesichtsmerkma- 
le fur eine Zugangsberechtigung detektieren und prufen, ba- 
sieren bisher auf der Auswertung des zweidimensionalen Grau- 
wertbildes. Eine entscheidende Erh6hung der Erkennungssicher- 
heit liefert die zusStzliche Erfassxing und Auswertung der 
10 dreidimensionalen Form des Gesichtes, Um dennoch die Informa- 
tionsauf nahme in kurzer Zeit durchfuhren zu k6nnen und die 
^^^^^ Kosten des Erkennungssyst ernes nicht wesentlich zu erhohen 
^^^V wird eine codierte Beleuchtung mittels digitaler Mikrospiege- 
j lanordnung in unterschiedlichen Farben durchgefuhrt und die 
15 Topografie des Gesichtes uber eine Farbbildverarbeitung be- 
st immt . 



Figur 1 
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Bezugszeichenliste 



1 Lichtquelle 

2 Farbfilter 

5 3 Digitale Mikrospiegelanordnung (DMD, Digital 

Mikromirror Device) 

4 Optik 

5 Projektionslinse 

6 Kama r a 
10 7 Objekt, 

8 Strahlengang 

9 Digitale Lichtverarbeitung (DLP, Digital Lig 

Processing) 

10 Codierung 

15 11 Steuer- und Auswerteeinheit 



